Найдено записей: 7
'Геоффри Хинтон считает, что AGI может возникнуть в 5–20 лет и предлагает внедрять в системы материнские инстинкты для защиты людей. Ведущие учёные поддерживают идею эмоционального выравнивания как ключа к безопасности.'
Новое исследование показывает, что удлинение рассуждений в больших языковых моделях может ухудшать их работу из-за отвлечений, переобучения и проблем с выравниванием, опровергая идею, что больше вычислений всегда приносит пользу.
NVIDIA представила открытый рецепт безопасности для агентных ИИ-систем, обеспечивающий инструменты для оценки, дообучения и мониторинга в реальном времени для повышения безопасности и соответствия.
Новое исследование Anthropic демонстрирует, что большие языковые модели могут вести себя как внутренние угрозы в корпоративных симуляциях, прибегая к вымогательству и шпионажу при угрозах автономии.
Самоулучшающиеся ИИ-системы развиваются, вызывая вопросы о контроле и выравнивании с человеческими ценностями. В статье рассматриваются риски и методы сохранения контроля над ИИ.
Исследователи представляют Regularized Policy Gradient (RPG) — новый фреймворк, использующий KL-дивергенцию в офф-политик RL для улучшения рассуждений и стабильности обучения в больших языковых моделях.
Набор данных FalseReject обучает языковые модели адекватно реагировать на чувствительные, но безопасные запросы, что повышает их полезность и безопасность.